Enhancing the learning process of folk dances using augmented reality and non-invasive brain stimulation

Entertainment Computing

Volume 40, January 2022, 100455

Abstract

Dancing is a very popular entertainment activity which is, however, quite difficult to learn. Our objective is to facilitate the traditional dance-learning process – based on imitating teacher’s movements – by employing current technological advances. In particular, we record professional dancers’ performances using a motion capture system and display the recorded data as moving avatars within a developed mobile-phone application. This application in combination with the mobile phone used as a headset, allows students to observe professional dancing within an augmented-reality environment. To demonstrate the benefits of such environment, we show that students can learn dancing when using the developed application. We assess the dancing quality by determining a similarity with respect to professional performance, based on the Dynamic Time Warping applied to the recorded motion capture data. Also, we analyze the effect of transcranial direct current stimulation (tDCS) on motor learning. We experimentally demonstrate that students with received tDCS perform dancing significantly better. We evaluate all the experiments on a real-life dataset of folk dances.

概要

ダンスは非常に人気のあるエンターテイメントであるが、その習得は非常に困難である。私たちの目的は、伝統的なダンス学習プロセス（先生の動きを真似ること）を、現在の技術的な進歩を利用して容易にすることである。具体的には、プロのダンサーのパフォーマンスをモーションキャプチャシステムで記録し、そのデータを開発した携帯電話用アプリケーションに動くアバターとして表示する。このアプリケーションと携帯電話をヘッドセットとして使用することで、学生は拡張現実環境下でプロのダンスを観察することができる。このような環境の利点を示すために、開発したアプリケーションを使用して、学生がダンスを学ぶことができることを示す。また，撮影したモーションキャプチャデータに動的時間歪みを適用し，プロのパフォーマンスとの類似性を判断することで，ダンスの品質を評価する．また、経頭蓋直流刺激（tDCS）が運動学習に与える影響についても分析する。tDCSを受けた学生は、ダンスのパフォーマンスが有意に向上することを実験的に実証している。すべての実験を実際の民族舞踊のデータセットで評価する。